ADS - Arenadata Streaming

Потоковая передача и обработка данных в реальном времени на базе Apache Kafka и NiFi

• Корпоративная шина обмена данными для всех приложений
• Разграничение прав доступа к потокам данных

2024: Доступность из облака «Крок»

Крок Облачные сервисы и Arenadata заключили соглашение о партнёрстве, по которому продукты Arenadata стали частью услуг, предоставляемых заказчикам на базе Облака КРОК. В частности, клиентам облачного провайдера теперь доступно решение Arenadata Streaming (ADS). Об этом Крок сообщил 17 января 2024 года. Подробнее здесь.

2023

Поддержка «Ред ОС»

Arenadata 1 ноября 2023 года выпустила обновленный релиз продукта для потоковой обработки данных Arenadata Streaming (ADS), включивший в себя поддержку российской операционной системы РЕД ОС.

Таким образом был расширен перечень поддерживаемых ADS операционных систем, который теперь включает:

• РЕД ОС 7.3;
• CentOS 7.6.1810;
• RHEL 7.6;
• AltLinux 8.4 SP;
• Astra Linux 1.7 «Орёл» SE c Axiom JDK.

Другим важным изменением Arenadata Streaming для пользователей стала реализация шифрования параметров конфигурации NiFi, призванная повысить защищённость кластера.Елена Истомина, Directum: Как no-code меняет стоимость проекта 6.4 т

Помимо этого, обновленная версия ADS включила обновление NiFi до версии 1.20, благодаря чему добавились дополнительные процессоры и был устранён ряд проблем, связанных с информационной безопасностью.

Для клиентов Arenadata важна возможность влиять на карту развития наших продуктов, и данный релиз Arenadata Streaming это подтверждает. Так, в ответ на пожелание одного из наших заказчиков, в NiFi был добавлен дополнительный провайдер потоков GitFlow Provider, — прокомментировал Александр Ермаков, технический директор Arenadata.

Доступность в облаке Cloud.ru

Провайдер облачных и AI-технологий Cloud.ru стал стратегическим партнёром российского вендора ПО для хранения и обработки данных Arenadata. Теперь продукты Arenadata можно использовать в облаке Cloud.ru. Об этом Arenadata сообщила 29 августа 2023 года.

Как уточнили TAdviser представители Arenadata, в облаке Cloud.ru доступны следующие продукты компании: ADB - Arenadata DB, ADH (Arenadata Hadoop), ADQM (Arenadata QuickMarts) и ADS (Arenadata Streaming). Подробнее здесь.

Поддержка Astra Linux Special Edition «Орел»

Arenadata выпустила обновленный релиз продукта для потоковой обработки данных Arenadata Streaming (ADS), включивший в себя поддержку операционной системы Astra Linux Special Edition (релиз «Орел»). Функционал уже доступен пользователям. Об этом компания Arenadata сообщила 10 августа 2023 года.

Совместимость с российской операционной системой Astra Linux означает, что продукт подходит для большого спектра корпоративных ИТ-инфраструктур, включая нуждающихся в повышенном уровне защищённости.

Для клиентов Arenadata важен высокий уровень информационной безопасности. И данный релиз Arenadata Streaming, получивший поддержку Astra Linux, позволит им использовать сертифицированную операционную систему. Для этого мы провели большую работу в части изменения механизмов конфигурации системы управления сервисами и компонентами под операционную систему, — прокомментировал обновление функционала ADS Александр Ермаков, технический директор Arenadata.

Данный релиз Arenadata Streaming включил и другие изменения. Был переработан функционал управления пользователями в интерфейсе универсального оркестратора гибридного ландшафта Arenadata Cluster Manager (ADCM) и индивидуальные настройки сервисов для одного или группы хостов. А также исправлен ряд известных проблем.

Arenadata Streaming — масштабируемая отказоустойчивая система для потоковой обработки данных в режиме реального времени, адаптированная для корпоративного использования и построенная на базе Open source технологий Apache Kafka и Apache Nifi. Продукт включает систему мониторинга и управления, поддержку расширенной безопасности, а также ряд дополнительных инструментов для реализации репликации, проверки качества данных и других необходимых для продуктовой эксплуатации функций.

Arenadata Streaming позволяет:

• строить потоковые конвейеры данных в реальном времени, которые надёжно передают данные между системами или приложениями;
• разрабатывать потоковые приложения в реальном времени, преобразующие или реагирующие на потоки данных;
• хранить потоки записей отказоустойчивым долговечным способом;
• разграничивать права доступа к потокам данных.

На Arenadata Streaming получено свидетельство о государственной регистрации программы для ЭВМ. Помимо этого, продукт включён в единый реестр российских программ для электронных вычислительных машин и баз данных.

Доступность в beeline cloud

Экосистема продуктов Arenadata теперь доступна клиентам облачного провайдера beeline cloud. Об этом компания Arenadata сообщила 3 августа 2023 года. Как уточнили TAdviser представители Arenadata, в числе продуктов, доступных через beeline cloud: Arenadata DB, Arenadata Hadoop, Arenadata Streaming, Arenadata Postgres, Arenadata QuickMarts и Arenadata Cluster Manager. Подробнее здесь.

Совместимость с платформой Rubbles MLOps Suite

ИТ-компании Rubbles и Arenadata обеспечили совместимость своих программных продуктов. Теперь платформа Rubbles MLOps Suite и решения для хранения и обработки данных Arenadata могут работать бесшовно в едином программном комплексе. Об этом компания Arenadata сообщила 19 июля 2023 года.

Единый программный комплекс объединяет MLOps-решения Rubbles и продукты Arenadata, в том числе и Arenadata Streaming. Подробнее здесь.

Выпуск инструмента для мониторинга и управления коннекторами Apache Kafka в составе Arenadata Streaming

Российский разработчик платформы сбора, хранения и обработки данных — компания Arenadata сообщила 11 января 2023 года о выпуске на рынок инструмента для мониторинга и управления коннекторами Apache Kafka в составе продукта Arenadata Streaming (ADS). Он получил название Arenadata Streaming Command Center (ADSCC). ADSCC поддерживает управление несколькими кластерами с установленными сервисами Kafka и Kafka Connect, а также предоставляет возможность создавать, редактировать, удалять коннекторы Kafka Connect и управлять их состоянием.

Arenadata Streaming Command Center дополняет ADS и позволяет настраивать передачу данных в реальном времени между источником и приёмником с помощью source- и sink- коннекторов, получать быстрый обзор состояния кластера, а также наблюдать и контролировать коннекторы Apache Kafka к источникам и приёмникам. Наиболее востребованные сценарии использования данного инструмента — настройка передачи данных в реальном времени между различными системами, репликация и Disaster Recovery кластеров Kafka.

Выпуская Command Center, компания даёт возможность заказчику быстро настроить Disaster Recovery Kafka кластера и подключить внешние коннекторы (например, Debezium для настройки CDC). При этом закладываем основу для разработки функционала под запросы заказчика с поддержкой вендора, а также включения в продукт ADS других версий Kafka с поддержкой KRaft, пояснил директор департамента управления продуктами Arenadata Александр Большаков.

Ранее при работе с Open Source Kafka Connect пользователям было необходимо вручную создавать файлы конфигурации и разбираться, какие параметры важны, а какие нет. У администратора системы это отнимало достаточно много ресурсов, был высок риск совершения ошибок, к тому же администратору было необходимо знать Kafka Connect API и делать кастомный мониторинг коннекторов.

Arenadata Streaming Command Center позволяет совершать все эти манипуляции прямо из пользовательского интерфейса. Практически мгновенно можно организовать перенос данных из одной точки архитектурного ландшафта в другую, также теперь есть возможность:

• добавлять Kafka-коннекторы и управлять ими;
• отслеживать состояние кластеров Kafka Connect;
• работать с несколькими кластерами одновременно;
• гибко настраивать параметры коннектора (выбирать тип коннектора, группировать параметры, режим JSON для глубокой настройки);
• работать с пользовательскими коннекторами.

Arenadata Streaming Command Center доступен в виде отдельного бандла в составе enterprise-версии Arenadata Streaming начиная с версии 1.7.1. Установить бандл можно через Arenadata Cluster Manager.

В ближайших планах развития Arenadata Streaming Command Center реализация следующего функционала:

• добавление LDAP/LDAPS-аутентификации;
• мониторинг (количество сообщений, пропускная способность и т.д.) и управление топиками;
• переназначение partitions на другие ноды;
• добавление дашбордов и графиков;
• выбор leader replica.

2022: Kerberos-авторизация для предотвращения несанкционированного доступа

24 февраля 2022 года компания Arenadata сообщила, что предоставила пользователям трёх своих продуктов - Arenadata Hadoop (ADH), Arenadata Streaming (ADS) и Arenadata Platform Security (ADPS) - возможность предотвращать несанкционированный доступ к сервисам и данным кластеров. Теперь достаточно включить Kerberos-авторизацию для всех компонентов, которая позволит хранить авторизационные данные в Active Directory. Подробнее здесь.